Training seeds and model-selection stability in recommender-system evaluation
推荐系统评估中的训练种子与模型选择稳定性
🧭 推荐系统评估可复现性与模型选择
Aalborg University · Johannes Kepler University Linz · ISISTAN · CONICET-UNCPBA
固定数据划分仅变训练种子，证明单种子结果会高估推荐模型评估稳定性，种子应纳入评估协议
📌 工作参考价值（4 点）
- 离线对比召回/排序模型时，同一配置至少跑 3-5 个训练 seed，报告 metric 均值±方差；若两组模型 score 差异落在 seed 方差内，不要下“有提升”结论。
- 做 hyperparameter tuning / model selection 时，不要用单 seed 的 validation 最优直接定配置；可用 multi-seed validation 平均或 bootstrap，并检查 validation→test 的转移是否稳定。
- 除了 nDCG/Recall，同时看 top-k 列表的 Jaccard/agreement；分数接近但列表重叠低时，线上效果可能不稳定，尤其影响广告/推荐位的曝光一致性。
- 若业务 pipeline 含 dropout、negative sampling、masking 等随机机制，固定 seed 的离线报告会掩盖真实方差；在 launch review 中把 seed 稳定性作为通过标准。